Ông kị của Kim là Bối Hầu Lợi, nhờ vũ dũng mà nổi danh, thời Bắc Ngụy Đạo Vũ đế đưa cả nhà đến xin nội phụ, được ban tước Mạnh Đô công. Ông nội là Phiên Địa Cân, Điện Trung thượng thư. Cha là Đại Na Khôi, Quang Lộc đại phu, Đệ nhất Lĩnh dân tù trưởng; trong những năm Thiên Bình (534 – 537), nhờ Kim hiển quý, nên được truy tặng Tư Không công.

Kim tính tình đôn hậu, khẳng khái, giỏi cưỡi ngựa bắn cung, biết phép dùng binh của người Hung Nô, nhìn cát bụi mà biết binh mã ít nhiều, áp tai xuống đất mà biết đoán quân địch xa gần.

Ban đầu, Kim làm quân chủ, cùng Hoài Sóc trấn tướng Dương Quân đưa chúa Như Như là A Na Khôi về phương bắc. Khôi thấy Kim săn bắn, vô cùng thán phục. Về sau Khôi vào cướp Cao Lục, Kim đánh bại ông ta.

Cuối những năm Chánh Quang (520 – 525), Phá Lục Hàn Bạt Lăng khởi nghĩa, Kim đưa quân đi theo, được ban Vương hiệu. Ông đoán Lăng cuối cùng sẽ thất bại, bèn đưa khoảng 1 vạn gia đình dưới quyền đến Vân Châu xin hàng, lập tức được thụ chức Đệ nhị Lĩnh dân tù trưởng.

Không lâu sau, ông đưa mọi người về phía nam ra Hoàng Qua Đôi, bị Đỗ Lạc Chu đánh bại, bộ hạ tan rã, Kim cùng anh trai Bình quy hàng Nhĩ Chu Vinh. Vinh cất nhắc ông làm biệt tướng, rồi dời sang làm đô đốc. Hiếu Trang đế lên ngôi, ông được phong Phụ Thành huyện nam, gia Ninh Sóc tướng quân, Truân kỵ hiệu úy. Ông theo đại quân đánh dẹp Cát Vinh, Nguyên Hiển, liên tiếp lập công, được gia Trấn nam tướng quân.

Khi bọn Nhĩ Chu Triệu lật đổ Hiếu Trang đế, Kim cùng bọn Lâu Chiêu, Xá Địch Can ngầm mưu với Cao Hoan để chống lại. Cao Hoan nam tiến đi đánh Nghiệp Thành, để Kim ở lại giữ Tín Đô, lĩnh Hằng Vân, Yên, Sóc, Hiển, Úy 6 Châu Đại đô đốc, ủy thác cho ông việc ở hậu phương.

Kim đánh phá Lý Tu, được gia Hữu Quang Lộc đại phu. Ông hội họp với Cao Hoan ở Nghiệp Thành, theo đại quân bình định Tấn Dương, truy kích tiêu diệt Nhĩ Chu Triệu.